用意念就能玩游戏？CTRL-labs非侵入式脑机接口揭秘

Esther｜ 编辑

在今年OC 6前夕时，Facebook曾正式宣布在收购EMG手势识别和神经接口公司CTRL-labs，传收购规模在5亿到10亿美元之间。后来，还有消息称Facebook在7月时就曾透露在探索非侵入式脑机接口方案，该方案将与手势操作、语言操控等技术集成，作为AR/VR交互的一部分。两件事之间显然有不小的联系，收购CTRL-labs这一布局很可能是Facebook发展AR/VR交互上的关键一步。

Facebook将如何通过CTRL-labs的技术实现非侵入式脑机接口方案呢？据悉，CTRL-labs已经研发出基于电脉冲信号的腕带设备，可通过手臂、手腕、手指获得皮肤电信号，并通过这些信号来追踪和推断用户的手指活动。

与市面上的其他手势识别方案不同，CTRL-labs不仅能够识别你的手势，还能推断你的意图并转化成动作，比如此前青亭网就曾报道CTRL-labs成功演示了对发育不全手掌的追踪，并且在电脑中重建和模拟出完整的虚拟手和动作。

那么CTRL-labs的技术真的能实现Facebook想要的非侵入式脑机接口效果吗？在今年网络峰会上，这家公司的CEO Thomas Reardon进一步解释了其脑机接口技术，或许能从中了解为什么它会被Facebook收购。

为什么说是机器学习的难题

简单来讲，CTRL-labs希望实现的效果是取代键鼠、触屏、语音交互等传统输入方式，并预计在未来几年后能够通过单独的神经元来直接控制科技设备。也就是说，CTRL-labs的技术不是为了读取你的想法，而是识别你的意图。

而为了实现这种技术，CTRL-labs需要克服许多机器学习上的难题，比如：让AI实时分析神经元活动和意图、让AI通过自发随机的重复动作来学习、快速适应各种情况等。

https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=l3024j4qfwm

1）实时解码神经活动并转化成控制信号需要依赖大量算法，Reardon表示：就像人体原理一样，每一系列神经元分为不同的层，比如从大脑皮层输送到脊髓的过程中，每一层神经元需要去破译上一层神经元的信息，从神经活动转化成最终动作可能只需要几毫秒。

在这一过程中，你需要首先捕捉到神经元的活动，然后赋予它们意义。Reardon表示：我们正在通过机器学习算法来处理这些计算，并且发现光是解码的部分就需要大量精细的定制算法才能做到实时的速度。如果是人来进行神经系统分析的话，可能会需要几周时间。

而神经系统科学的中心目标是，分析出单个或多个神经元的活动是如何生成行为的，神经活动是如何与行为建立联系的？神经元使用了什么代码？但是这一过程很难在实时得到有效答案。

这是因为人脑是大自然中最复杂的系统之一，如果不在脑袋上钻个洞，那么创造一个读懂人脑的算法极其困难。因此可以说，通过解码每个神经元的活动来控制机器，是一个终极的机器学习挑战，也是最复杂的挑战。

Reardon表示：机器学习算法（比如DeepMind）可以教会AI玩游戏，但是真正难的是如何让AI以人脑的速度思考。

https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=o3024rgs99z

2）除此之外，Reardon还指出人体的一种生理现象“运动蹒跚”（Motor Babbling），指的是人体可通过自发随机的重复动作来掌握运动技能。比如，当你首次接触到CTRL-labs的手势识别腕带时，大脑可能只需要90秒左右适应和完成一项任务，那么在这90秒里你和EMG腕带之间发生了什么呢？

Reardon表示：在这一过程中你的大脑会发现，当你活动某个神经元的时候，会发生某种反应。接着，你会对全身生成一个神经地图，并将地图输出到全身的神经元。而这一过程对于新生儿是很难做到的，因为你需要一定技术和经验才能抓取物体。

伸手去抓取是人的本能反应，比说话、数学、语言更容易学习，尤其是你的手和嘴能很熟练地学习如何自然活动，这一过程几乎不需要多少神经活动。而对于新生儿来讲，可能需要更久时间去学习，不过在学习一年半之后基本上也能了解到身体活动的大致规律。

和新生儿一样，学习抓取等动作对于AI来讲同样困难。就拿喝水来讲，人的一生中可能经历过几百万次拿水杯喝水的动作，但是每一次做都不一样（杯子和水不一样重、杯子纹理材质等也不一样），但机器人却很难模拟这一点。毕竟，你的胳膊具有27自由度，同时人脑分析的能力也更强，每一个动作都是大脑对神经元活动进行实时处理完成的。

3）像大脑一样实时的运算处理能力，也是CTRL-labs技术想要实现的效果，它希望利用人类学习身体活动的方式去帮助我们控制电子设备。

Reardon解释，人体具备优秀的适应能力，并且能够大致了解完成任务所需的动作，因此抓起水杯放到嘴边的时候不会撞到脸上，在这一过程中几乎不会给人脑带来认知负荷，你不需要像机器或电脑一样需要一段时间来思考就知道如何去做。

同时，人体还具备运动反馈（寻找和改进动作线索、对动作的自我调节、形成独立性技能的过程）能力，这也是未被大多数机器人开发利用的。

CTRL-labs希望借鉴人体的运动反馈原理，让机器也能够在几秒钟内学习和使用运动机能，不仅能够大概预估接下来要做的动作，也能快速、准确地适应实际情况。就像人脑一样，可以快速且动态地打开甚至关闭肌肉活动，适应每一个独立的场景。

也就是说，CTRL-labs想要实现的是捕捉到人类学习的方式，而这将需要经过大量计算，也是一个需要解决的机器学习问题。

应用1：游戏

前面提到，CTRL-labs希望捕捉到人类学习的方式，从而推断意图，而不是像Neuralink侵入式脑机接口那样读取你的想法。那么CTRL-labs技术可以用来做什么呢？在AR/VR、游戏等领域，它可以大有作为，尤其是可以取代PC等设备的界面和输入方式。

https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=v3024u39wfr

比如，CTRL-labs为谷歌Chrome浏览器的小恐龙游戏（一款通过弹跳躲避障碍物的游戏）制作了一种神奇的交互demo，可以让你通过手环装置对EMG信号的读取，实现用意念控制小恐龙。刚开始，戴上CTRL-labs手环的体验者需要通过电脑上的键盘来控制小恐龙弹跳，在经过一段时间适应后，你即使不用键盘而是用自己的“意念”也可以控制。

这样神奇的操作是怎么实现的呢？据悉，从键盘操作到无须键盘操作的切换一蹴而就的，CTRL-labs在软件算法方面加入了一些巧思，在你按键的过程中，也会匹配你的脑电波活动，直到最后脱离按键这一动作。

Reardon表示：用脑电波控制游戏的不同之处在于，你不再想过去一样需要活动身体才能控制机器，只需要表现出意图就足够。此外，不管你用左手还是右手，用哪根手指按键盘，CTRL-labs都能识别你的意图。

有趣的是，在体验这个demo的时候，不需要有人告诉你何时停止按键盘，你很快会自然发现即使自己不按键恐龙也会根据自己的意愿去跳过障碍。这是因为大脑的适应能力很强，它会通过适应去找出解决问题的最少动作，这种适应能力也被称为力量调节。

比如在抓起杯子喝水的任务中，大脑会刺激最少的神经活动来促进肌肉收缩，完成整个动作，而这也是难以被控制的人的天性。

同理，当大脑发现按键盘的动作与恐龙的活动没有关系的时候，就会逐渐脱离这个动作，适应用意念控制游戏这件事。CTRL-labs还做了一个实验，让带着其EMG手环的体验者通过触摸屏来控制游戏或应用，发现大约90秒后，体验者就停止了触屏动作。

Reardon解释，尽管这是一个小实验，但是效果足够稳定，甚至还能不断增加动作的难度，比如控制数百个按键。

应用2：打字

说到控制按键，那就不得不说说CTRL-labs手环在打字场景的应用，很明显用意念和打字的结合在未来会成为很有潜力的应用场景，但这要比控制恐龙弹跳复杂得多。

据了解，与此前的技术不同，CTRL-labs不是让你通过虚拟或实际的按键来一个字母一个字母打字，而是希望直接推测出你想要输入的词。Reardon表示：这项技术可以实时控制语言模型，也被称“构词”功能。从他的描述来看，这个功能似乎可以成为打字的辅助功能，通过快速联想词语，比用字母组成词语更快。

Reardon补充，CTRL-labs希望实现的效果是，能够以说话差不多的速度来进行语言输入，甚至即使对于说话非常快的人来讲，或许也能实现250单词/分钟的速度，总之就是让意念打字的速度就像说话一样自然快速。

当然，这还只是一个正在开发中的技术，目前的demo仅能实现40单词/分钟，这并不算是一个很快的打字速度。不过随着技术发展，它依然有潜力在未来替代键盘、触屏或语音等交互方式。

应用3：AR/VR

说了这些应用场景，那么对于Facebook来讲，是否会将CTRL-labs用于AR/VR呢？Reardon表示：非侵入式脑机接口在AR/VR这种新型的技术平台上显然会带来很大价值，不管未来的穿戴式PC以何种方式出现（头戴显示器），都将需要全新的文字界面。

CTRL-labs认为，在未来语音输入只会是输入方式的一部分，不会被经常使用，也不会是控制机器设备的终极解决方案。这是因为通过语音去推断语境的能力有限，与文字相比，语音并不是一个好的输入方式。

尤其是对于AR/VR来讲，这个平台目前还没有找到足够合适的输入方式，从Facebook收购CTRL-labs这一举动（甚至欲将其纳入AR/VR部门Reality Labs）来看，前者足够看好非侵入式脑机接口与AR/VR的结合。

尤其是CTRL-labs的词语联想技术，如果用于AR/VR，将有望进一步提升自然交互的体验感。

CTRL-labs的独特之处

除了神奇的应用场景外，CTRL-labs还有一大亮点就是致力于对单个神经元的分析，这样的效果是即使没有在人脑中植入脑机接口，也能识别你想做的动作。

这种非侵入式脑机接口与Neuralink的技术有很大不同，尤其是对于失去部分运动能力的人来讲，前者更注重于帮他们重获活动机能，而后者的技术则不仅要让你用意念控制电脑，还想让你控制AI。

Reardon表示：大脑中的每个神经元通常都在执行各自的任务，但如果你想破解大脑的想法并转化成动作，可能现在没有一个神经学家能做到。因此，我们侧重于用EMG等生物识别信息去识别人的意图而不是想法，让你大脑的意图去控制，而不是与AI分享你的想法。

就拿小恐龙游戏demo举例，CTRL-labs手环识别到的信息是“跳”这个意图，而不是说在哪里跳这个想法，也就是说体验者在看到游戏中的障碍物时会想要跳，同时运动神经元也会产生反应，而CTRL-labs手环在识别到之后便会执行任务。

关于未来与创新

目前，CTRL-labs除了机器学习等问题外，面临的另一大难题是如何区分不同神经元的意图，尤其是了解哪些神经元在控制机器，哪些在控制身体。据悉在这一方面，CTRL-labs已经取得了一些突破，能够在相同的神经元上区别不同的神经活动。

Reardon表示：为了验证CTRL-labs技术能够识别单一神经元的意图，我们进行了足够科学严谨的大量实验，并展示了被激活的单个神经元，我们称之为运动单元，即与单个神经元相连的一系列肌肉纤维。

当然你最关心的问题可能不止这些，而是比如这项技术何时能商业化？对此，Reardon表示：在未来，不过会比5年更短，而且可能会与一种穿戴式设备集成。

参考：

https://venturebeat.com/2019/11/20/ctrl-labs-ceo-well-have-neural-interfaces-in-less-than-5-years/

（END）

    推荐阅读    

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网